Teach Multimodal Recommendation Model to See via Personalized Visual Extraction and Adaptive Learning
通过个性化视觉提取与自适应学习教会多模态推荐模型“看见”
🧭 多模态序列推荐 · 视觉信号增强 ★ 深度解读
Fudan University · Imperial College London
提出即插即用框架REVEAL，通过反馈引导视觉提取和自适应视觉学习提升多模态序列推荐中视觉信号的利用率。
📌 工作参考价值（4 点）
- 视觉特征增强可复用：当业务中视觉内容（商品图、短视频封面）对CTR/CVR贡献不足时，可借鉴FVE思路——用任务反馈（如最终推荐 loss）迭代优化视觉提示词，无需微调VLM，将静态通用视觉特征转为用户偏好对齐的表示。
- 缓解模态不平衡的轻量方案：AVL通过计算单模态损失差距动态缩放视觉梯度，无需额外监督、不改变骨干结构。电商推荐中文本信息（标题、属性）常过强，可引入类似机制让模型更公平地学习图像、音频等弱模态。
- 即插即用与零推理开销：REVEAL仅在训练阶段生效，推理完全还原原始管道，非常适合业务已上线的模型做低成本升级。
- 提示词工程与反馈循环设计：FVE中利用VLM基于推荐错误分析优化提示词的范式，可迁移至生成式推荐（例如用LLM生成商品描述或创意文案时，以最终转化指标反馈迭代提示模板）。